A pesquisadora Ellie Pavlick afirma que treinar modelos de linguagem em miniatura é como sequenciar o genoma de uma mosca-da-fruta em vez do genoma humano. Pesquisadores da Microsoft obtiveram resultados significativos treinando modelos de linguagem em miniatura com histórias infantis. Em comparação com os modelos de linguagem grandes, os modelos em miniatura são mais rápidos de treinar e seus mecanismos internos são mais fáceis de entender. Este método ajuda a treinar modelos maiores e a analisar seu comportamento. Os resultados da pesquisa mostram que, após o treinamento com histórias infantis, os modelos de linguagem em miniatura conseguem contar histórias coerentes e gramaticalmente corretas.